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摘 要 : 针对 新 图 形 技术 条 件 下 的 纹理 合成 问题 ， 提 出 一 种 纹理 插值 方法 ， 可 将 源 纹理 图 像 自 适应 拉 伸 为 不 同 尺寸 
的 纹理 图 像 并 保持 其 清晰 度 不 改变 。 首 先 ， 采 用 高 维 图 像 播 值 算法 将 源 纹理 裂变 为 目标 纹理 分 辨 率 ， 作 为 中 间 过 渡 
纹理 ;其 次 ， 利 用 自然 图 像 的 自 相似 性 ， 依 据 中 间 纹 理 像 素 特 征 随 机 从 源 纹理 中 选取 像素 块 ; 最 后 ， 使 用 泊 松 图 像 编 
辑 算法 将 源 纹理 像素 块 平滑 瞪 入 到 中 间 纹 理 的 间隙 区 域 ， 得 到 最 终 的 合成 纹理 。 通 过 与 现 有 算法 的 大 量 对 比 实 验 表 
明 ， 该 算法 对 静态 和 非 静态 纹理 合成 问题 都 能 适用 ， 且 合成 结果 与 源 纹理 具有 较 高 的 视觉 一 致 性 。 另 外 ， 该 算法 带 
辑 简 单 、 计 算 快 速 ， 无 法 复杂 优化 计算 或 者 学 习 训练 步 又， 适合 在 低 硬 件 配置 的 移动 平台 应 用 。 
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Adaptive texture interpolation by Poisson filling 


Zhang Jun® t, Chen Kaiwena 
(a. School of Digital Media, b. Jiangsu Key Laboratory of Media Design & Software Technology, Jiangnan University, Wuxi 
Jiangsu 214122, China) 


Abstract: Aiming at the texture synthesis in new computer graphics technical conditions, this paper proposes a texture 
interpolation method to synthesize different resolution textures adaptively from a single real world texture. The synthesized 
texture’s DPI is same as the original texture example. Firstly, the proposed method use a high-dimensional interpolation 
algorithm to generate an intermediate guidance texture with target resolution by split the source texture. Secondly, particular 
random patches are selected to fill the gaps in the intermediate texture according to the self-similarity in the source texture. 
Finally, these patches are seamlessly embedded in the previous intermediate texture by the Poisson image-editing algorithm. 
Experimental results show that the proposed method can handle both stationary and non-stationary texture synthesis, and the 
synthetic results are more consistent in the visual properties of the source texture. In addition, the implement logic of the 
proposed method is enough simple to be programing and executing on a common mobile platforms. 
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值 的 传统 优化 问题 。 这 样 的 思路 在 面 对 小 尺寸 样本 和 具有 高 
度 重 复 性 的 静态 纹理 时 ， 取 得 了 较 好 的 合成 效果 ， 可 生成 人 


0 引言 


近 些 年 ， 电 影 、 游 戏 等 行业 对 计算 机 图 形 的 逼真 度 需 求 工 痕迹 很 小 的 大 尺寸 纹理 。 
不 断 攀 升 ， 对 三 维 虚拟 场景 的 视觉 真实 性 提出 越 来 越 高 的 标 对 于 高 分 辩 率 的 非 静态 纹理 样本 ， 其 几何 特征 存在 多 个 
几 n 


准 。 然 而 ， 图 形 硬件 的 瓶颈 使 业界 无 法 通过 提高 几何 网 格 数 尺度 上 的 空间 异 构 分 布 ， 现 有 主流 纹理 合成 技术 无 法 将 所 有 
量 和 光照 计算 复杂 度 进一步 增加 虚拟 场景 真实 性 ， 只 有 通过 特征 无 颖 的 拼接 到 目标 纹理 中 。 针 对 这 一 困难 ， 近 两 年 有 仿 
大 量 使 用 高 质量 纹理 贴图 的 方式 间接 增强 场景 真实 感 。 者 相继 提出 追加 纹理 特征 参考 图 (guidance map) 的 ] 

使 用 纹理 贴图 的 一 个 突出 问题 是 在 面 对 不 同 显示 区 域 大 和 基于 深度 学 习 形 式 0719 的 解决 方案 。 然 而 ， 现 有 特征 参考 
小 时 ， 纹 理 贴图 经 常 需要 不 同 尺 寸 的 图 像 。 为 避免 存 贮 大 量 图 方法 59 中 纹理 特征 分 析 过 程 涉及 复杂 非 线 性 降 维 计 算 ， 应 
高 分 辨 率 图 像 ， 纹 理 合 成 技术 可 以 使 用 少量 样 例 或 参数 ， 以 对 高 分 辩 率 样 例 纹理 时 其 计算 速度 令 人 难以 接受 。 基 于 对 抗 
程序 化 方式 动态 生成 所 需 纹 理 ， 得 到 业界 普遍 认可 。 因 此 ， 性 深度 学 习 08 的 方法 虽然 能 快速 生成 高 分 辩 率 纹理 ,但 其 学 
网 有 文献 里 存在 大 量 纹理 合成 技术 研究 ， 在 计算 机 图 形 学 应 习 、 训 练 过 程 时 间 漫 长 且 学 习 后 的 网 络 数据 量 庞大 ， 实 现 程 
用 领域 取得 了 令 人 瞩目 的 成 就 由 23。 当前 主流 纹理 合成 算法 主 序 需要 非常 大 的 内 存 用 来 存储 训练 数据 集 和 训练 结果 ， 基 本 
要 采用 纹理 像素 块 拼接 (patch-based matching) 的 思想 ， 根 无 法 应 用 到 移动 平台 。 另 外 ， 深 度 学 习 型 算法 一 旦 完成 训练 
据 各 类 选取 准则 ， 从 样 例 图 像 中 选取 子 区 域 像素 块 复制 列 后 ， 缺 乏 可 调 参数 用 来 满足 不 同 纹理 合成 需求 ， 只 有 更 新 学 


tr 
NY 
此 
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标 纹理 中 B-109。 为 保证 合成 纹理 在 视觉 上 没有 重复 感 和 断裂 ” 习 样 例 库 重新 训练 ， 缺 乏 灵活 性 。 

感 ， 许 多 优化 “ 块 ” 选 择 或 排列 的 算法 被 相继 提出 50251。 这 实际 上 ， 随 着 计算 机 硬件 和 图 像 采 集 技术 的 发 展 ， 工 程 
些 算法 将 纹理 块 库 视 为 自 变量 定义 域 ， 将 拼接 效果 定义 成 一 ”中 对 合成 无 限 大 小 人 工 纹理 的 需求 逐渐 减少 ， 较 多 应 用 场景 
个 误差 能 量 函 数 ， 从 而 将 纹理 合成 问题 归结 为 求解 能 量 最 小 ”是 对 已 有 高 分 辩 率 纹理 进行 缩放 或 拉 伸 操作 ， 以 适应 不 同 屏 
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幕 尺寸 (手机 、 平 板 、VR/AR 设备 、 可 穿戴 设备 、PC 等 ) 
的 需求 。 为 保证 计算 机 游戏 、 动 画 电影 等 虚拟 场景 在 不 同 设 
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与 传统 块 拼接 合成 技术 不 同 ， 本 文 算法 不 但 保持 合成 结 
果 不 出 现 拼 接 痕 迹 ， 还 需要 保持 原样 例 图 像 的 各 个 尺度 的 特 


备 上 的 视觉 一 致 性 ， 要 求 合 成 后 的 纹理 必须 与 源 纹 理 保 持 
致 的 视觉 特征 和 清晰 度 (dots per inch，DPTI)。 
本 文 作者 将 这 种 新 的 纹理 合成 需求 归结 为 纹理 插值 问题 ， 
提出 一 种 高 维 图 像 块 插值 算法 生成 中 间 纹 理 ， 再 采用 泊 松 图 
像 编 辑 方法 逐步 填充 像素 块 之 间 的 间隙。 该 算法 可 适用 于 非 
静态 纹理 自 适 应 缩放 的 应 用 ， 在 保持 源 纹理 特征 分 布 和 DPI 
不 变 的 情况 下 ,合成 指定 分 辩 率 的 纹理 图 像 (如 图 1)。 由 于 
未 采用 复杂 优化 或 学 习 型 方法 ， 该 算法 具有 线性 时 间 复 杂 度 
O(N)， 并 有 具有 简单 、 易 于 编程 、 对 硬件 需求 低 的 优势 。 


图 1 本 文 算法 对 源 纹理 图 像 〈 中 间 排 ) 的 插值 结果 (上 、 下 排 ) 


Fig. 1 Two interpolation results (upper and lower rows) from the 


original textures (middle row) by the ATIPF 
需要 特别 指出 的 是 ， 传 统 图 像 重 映射 2024(Image 
Retargeting) 或 图 像 超 分 状 率 [23 约 方 法 并 不 适用 于 纹理 插值 
问题 。 现 有 图 像 重 映射 方法 本 质 上 是 图 像 自 适应 裁剪 算法 ， 
较 少 具备 图 像 放 大 能 力 。 而 图 像 超 分 辩 率 方法 会 严重 影响 源 


纹理 的 DPI， 造成 视觉 质量 的 损失 。 
1 算法 框架 
本 节 从 总 体 算 法 流程 上 介绍 基于 泊 松 填充 的 纹理 插值 方 


法 ， 其 理论 细节 将 在 第 3 节 中 展开 。 基 于 样 例 的 纹理 合成 技 
术 发 展 至 今 ， 大 体 可 分 为 基于 块 拼接 的 方法 和 基于 像素 合成 
的 方法 。 由 于 块 拼接 可 以 保持 合成 结果 的 DPI 与 样 例 图 像 一 
致 ， 所 以 更 适合 大 范围 纹理 合成 的 需求 。 
基于 样 例 图 像 的 块 拼 接合 成 技术 的 主要 操作 步骤 ， 是 从 
样 例 图 像 中 选取 合适 的 块 ( 比 如 8X8 区 域 ) 写 入 到 合成 纹理 
图 像 的 特定 位 置 (如 图 2)。 为 了 让 合成 纹理 视觉 上 不 出 现 # 
榜 痕 迹 ， 需 要 精心 设计 块 的 选择 方式 和 像素 写 入 算法 。 


Example 


Synthesis Result 


图 2 基于 块 拼 接 的 纹理 合成 算法 原理 
Fig.2 Texture synthesis algorithm based on patches splicing 


征 分 布 .Zhou 等 人 09 的 纹理 分 析 方 法 可 以 对 样 例 特 征 分 布 进 
行 分 析 ， 得 到 一 幅 “ 特 征 参考 图 ”用 来 引导 纹理 块 的 选择 ， 
从 而 保持 纹理 特征 分 布 不 改变 。 此 方法 涉及 非 线 性 维 数 约 减 
计算 ， 在 面 对 高 分 辩 样 例 图 像 时 ， 计 算 极其 缓慢 并 消耗 大 量 
内 存 空间 。 本 文采 用 图 像 插值 的 思想 ， 并 将 其 推广 到 高 维 纹 
理 像 素 块 的 插值 情形 ， 从 而 可 以 快速 得 到 与 原样 例 纹理 特征 
分 布 一 致 的 中 间 骨 过 渡 纹 理 。 该 方法 先 将 样 例 图 像 分 裂 成 块 
状 ， 并 均匀 散布 到 目标 纹理 图 像 中 ， 再 使 用 高 维 插值 填充 块 
与 块 之 间 的 间 阶 。 
在 过 渡 纹 理 中 ， 块 与 块 间隙 位 置 的 像素 是 通过 高 维 插值 


得 到 的 ， 具 有 较为 明显 的 拼接 痕迹 和 不 自然 的 镜像 特性 。 为 
此 ， 本 文 算法 利用 自然 纹理 的 自 相似 特性 ， 随 机 从 样 例 图 像 


中 寻找 与 过 渡 纹 理 中 块 与 块 的 间 际 位 置 图 像 特征 相似 的 像素 
块 ， 将 其 嵌入 到 该 间隙 位 置 ， 从 而 消除 中 间 纹 理 中 高 维 插 值 
带 来 的 人 工 拼 接 痕 迹 和 不 自然 性 的 镜像 特性 。 

最 后 ， 根 据 参 考 图 像 的 纹理 特征 信息 ， 逐 个 从 源 为 图 像 
中 寻找 最 接近 参考 图 像 的 像素 块 ， 并 用 泊 松 图 像 编 辑 方法 填 
充 到 各 个 间隙 位 置 ， 形 成 最 终 的 合成 纹理 。 

本 文 算法 (Adaptive Texture Interpolation by Poisson 
Filling， ATIPF ) 流程 图 如 图 3 所 示 ， 该 算法 仅 涉 及 图 像 分 
割 、 翻 转 、 比 较 等 计算 ， 编 程 实现 相对 简单 ， 不 涉及 复杂 网 
络 关系 图 或 学 习 型 计算 。 


Patch-based 
Interpolation 


Patch Find 


Poisson Fill 


图 3 AIIPF 算法 流程 图 
Fig.3 Outline of the ATIPF 
ATIPF 算法 描述 如 下 : 


Input: texture I, patch size p, output size m,n’ 
3 / 
Output: synthesized texture I 


1l. Cracktexture 1 to pxpblocks Bi and 


locate the gaps LR， UDC 
2. Do interpolation: 
LR, = interp 已 ,B 


jj—1’ +l 


UD, = interp 已. 让 ;By 


LR _,LR 


CG = interp LDOD jn LB, 
LR, ~ opt(], LR,) 
UD; ~ opt(I, UD,) 


Ci ~ opt(l,C;) 


3. Find optimal gaps 


4. Write blocks to output texture 工 一 Bi 


5. Fill gaps to output texture by Poisson edition 


LR， UD C， 
i WW i 


区 Poisson Edition 
人 


在 ATIPF 算法 中 , 第 1 至 2 步 为 “特征 参考 图 ”生成 
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程 ， 其 计算 为 图 像 块 间 的 线性 插值 计算 ， 计 算 量 与 目标 纹理 
图 像 的 像素 个 数 成 正比 。 算 法 的 第 3 至 4 步 为 寻找 与 参考 图 
像 最 接近 的 像素 块 计算 ， se 
量 像 素 块 与 参考 图 像 的 像素 块 进行 欧 氏 距离 计算 ， 其 计算 量 
与 参考 图 像 中 的 像素 块 数量 成 正比 ， 从 而 与 目标 纹理 图 像 的 
像素 量 成 正比 。 算 法 的 第 4 至 第 5 步 为 像素 块 写 入 目标 纹理 
图 像 计算 ， 在 采用 固定 像素 尺寸 和 固定 迭代 步 数 的 Jacobi 
方法 求解 泊 松 方程 时 , 其 计算 量 同样 与 像素 块 的 数量 成 正比 ， 
从 而 与 目标 纹理 图 像 的 像素 量 成 正比 。 最 终 ，ATIPF 的 计算 
量 与 目标 纹理 图 像 的 像素 量 成 正比 关系 ， 其 计算 复杂 度 为 
O(N). 

另外 ，ATIPF 计算 流程 中 
性 ， 适 合 采 用 并 行 计算 策略 
用 并 行 计 算 方案 的 潜力 。 


2 ”高 维 图 像 块 插值 


本 文 关 注 的 纹理 合成 技术 需要 对 原始 纹理 样 例 的 各 种 尺 
度 特征 给 予 保留 ， 即 要 保持 纹理 宏观 特征 分 布 不 发 生 改 变 ， 
也 要 保持 为 微观 特征 不 被 丢弃 .Zhou 等 人 09 的 纹理 分 析 方 法 
可 以 给 样 例 纹理 的 各 个 尺度 特征 赋值 一 个 标量 参数 ， 从 而 指 
导 纹 理 合成 算法 在 挑选 纹理 块 的 时 候选 择 特征 一 致 的 区 域 。 
但 Zhou 等 人 09 的 纹理 分 析 方 法 需要 复杂 的 非 线性 归 约 计算 ， 
对 高 分 辨 率 图 像 的 处 理 速 度 非常 缓慢 ， 并 不 能 满足 本 文 快速 
计算 的 需求 。 

本 节 提 出 一 种 图 像 插 值 技术 ， 可 以 快速 生成 中 间 纹 理 图 
像 ， 并 以 此 作为 纹理 合成 时 像素 块 选择 时 的 依据 。 其 思想 是 
传统 像素 级 插值 算法 的 推广 ， 将 低 维 像素 级 插值 问题 推广 至 
高 维 像素 块 的 插值 问题 。 
图 像 插值 问题 已 经 得 到 了 广泛 的 研究 ， 但 基本 都 是 基于 
像素 级 的 插值 思想 ， 其 经 典 方案 就 是 双 线 性 插值 (如 图 4)。 


其 思想 是 在 原始 图 像 的 像素 点 之 间 插 入 新 点 8, ,并 与 周边 像 


素 点 特性 尽量 保持 一 致 : 
Oo =ulvB; +(1-v)B,] 
+(1— u)lvP,; +(1— v)Pn] 


有 高 度 的 像素 块 独立 计算 特 
， 具 备 在 多 核 CPU 或 GPU 上 采 


(1) 
Pi Pi 了 Pi 
四 ml © 上 
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Piwie [| S 
图 4 经 典 双 线 性 图 像 插值 算法 原理 示意 图 
Fig.4 Principle ofthe bilinear interpolation algorithm 
经 典 双 线性 图 像 插值 算法 因为 采用 了 像素 级 的 计算 策 
从 而 破坏 了 原始 图 像 的 DPI， 使 插值 结果 总 有 一 定 的 模糊 现 
象 。 本 节 提 出 基于 像素 块 的 插值 思想 ， 在 高 维 空间 上 对 纹理 
图 像 进行 插值 ， 并 保持 较 快 的 计算 速度 。 


如 果 将 像素 点 {B} 推广 至 像素 块 {B;} ， 先 将 源 纹理 分 裂 


成 规则 图 像 块 ， 并 均匀 散步 在 待 插 值 纹理 图 像 上 如 图 5)， 
则 图 像 插值 问题 依然 可 以 用 式 〈1) 的 形式 。 

Ci =u[vB; +(1—v)B,,] 

+(1—u)[vB; +(1—v) Bn] 

实验 结果 显示 ， 式 (2) 形式 的 图 像 插值 算法 ,会 因为 图 

像 块 所 带 有 的 边缘 信息 而 产生 人 眼 非常 容易 注意 到 的 块 状 现 


(2) 
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象 ， 并 不 能 直接 应 用 。 


Bi LRi Bit Binz 
”人 
Ci 
国 UDi A 友 UDi A wl 
LRi+yj 
“本 
加 a 地 A ey 


图 5 基于 图 像 块 的 高 维 图 像 插 值 原理 示意 图 


Fig.5 Principle of the high-dimensional interpolation by image 


patches 
为 此 ， 本 节 提 出 类 似 径 向 基 函 数 的 形式 ?7， 采 用 镜像 
映射 和 过 渡 函 数 的 形式 插值 出 平滑 过 渡 的 无 块 状 效应 的 纹理 
图 像 。 为 方便 叙述 ， 本 节 将 图 5 中 的 间 隐 按照 与 源 纹理 图 像 


块 的 位 置 关系 分 为 {LRy}{UDy}{C;} 三 种 类 型 。 


记 符 号 tfip 为 水 平 镜像 映射 (左右 翻转 )， udfip 为 垂直 
镜像 映射 (垂直 翻转 ), 则 本 节 提 出 的 高 维 纹理 插值 计算 公式 


LR; =sin? (学 ) flip(B, 1)+cos? (党 ) flip(B,s) 
UD; =sin? (%)udflip( Bj)+cos’ (Es)udflip(B,) 


Ci =4(UD: +UD +LR; +LR;) (3) 


于 过 渡 基 函数 在 像素 块 边缘 是 平滑 衔接 的 , 式 (3) 的 
插值 结果 无 明显 块 状 痕迹 ， 仅 有 镜像 引起 的 非 自然 效果 。 考 
虑 到 本 节 图 像 插值 算法 的 目标 是 为 寻找 纹理 块 提 供 依据 和 准 
则 ， 其 效果 完全 符合 纹理 插值 的 需求 。 


(c) 
(a) 源 纹理 图 像 (b) 分 块 填充 结果 (c) 高 维 插值 填充 间隙 的 结果 


(a) Source texture (b) Split result (c) Filled by high-dimensional 
interpolation 
图 6 高 维 图 像 插 值 计算 结果 
Fig.6 Theresult of high-dimensional interpolation 


3 ” 泊 松 填充 


本 文 第 三 节 提出 的 图 像 高 维 插值 方法 虽然 可 以 达到 无 块 
状 拼接 痕迹 的 纹理 图 像 缩 放 效果 ， 但 其 插值 结果 存在 较 多 镜 
像 的 非 自然 区 域 。 对 于 纹理 复杂 的 且 周 期 性 很 强 的 纹理 图 像 
来 说 ， 这 种 镜像 效果 不 明显 。 但 对 于 一 般 非 周期 性 纹理 ， 特 
别 是 非 静态 纹理 ， 这 种 效果 很 容易 被 人 眼 察觉 。 但 该 计算 结 
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果 可 以 作为 中 间 纹 理 ， 指 导 纹 理 块 寻找 算法 从 源 纹理 图 像 中 
得 到 与 中 间 纹 理 最 为 近似 的 像素 块 ， 用 于 蔡 换 间隙 区 域 的 像 
素 块 。 
在 替换 间隙 时 ， 不 能 破坏 间隙 与 源 纹 理 块 之 间 的 平滑 过 
渡 ， 这 就 需要 寻找 合适 的 图 像 块 融入 方法 。 传 统 纹理 合成 算 
法 已 经 提出 了 许多 类 似 的 算法 ， 其 效果 在 静态 纹理 合成 问题 
上 较为 成 功 。 本 文 作 者 为 避免 复杂 优化 计算 或 者 边界 优化 分 
割 等 耗 时 的 计算 过 程 ,选择 泊 松 图 像 编 辑 算法 2 作为 像素 块 
融入 中 间 纹 理 间隙 的 手段 。 


泊 松 图 像 编辑 算法 的 原理 较为 简单 ， 其 核心 思想 是 在 区 
域 Q 上 求解 泊 松 方程 : 
Af (x,y)= g(x,y) (4) 


图 7 泊 松 方程 示意 图 
Fig.7 Sketch ofthe Poisson equation 


其 中 7= 7 是 待 求 解 的 图 像 块 ，^As= 京 + 京 是 
设 从 源 纹理 中 寻找 到 的 最 接近 间隙 块 IR， 〈 仅 以 此 类 型 间隙 


为 例 , 其 他 类 型 间隙 的 计算 过 程 与 其 一 致 ) 的 纹理 块 为 LRY ， 


可 将 其 拉 普 拉 斯 变换 结果 及 其 边界 条 件 代入 方程 (4)， 从 而 
完成 泊 松 方程 的 建立 : 
| A xy) =LRY Ge CB) 
xy)=0LRY (x,y) with (x,y)eoN 
最 优 纹理 块 可 采 简 单 的 采用 像素 平方 距离 定义 : 
LR =argmin|LR, -Bu @) 


其 中 Bi c7 是 源 样 例 纹理 中 任意 一 个 子 区 域 的 图 像 块 ， 在 实 
际 计 算 时 ， 本 文采 用 蒙特 卡 罗 法 随机 抽取 K 个 图 像 块 样本 ， 
作为 方程 6) 的 搜索 空间 。 


图 8 泊 松 填充 步 又 的 计算 结果 


Fig.8 Final result by the Poisson image-editing 


从 计算 结果 图 8 可 以 看 出 , 经 过 泊 松 填充 的 纹理 图 像 已 
经 消除 了 中 间 纹 理 的 镜像 效果 ， 但 充分 保留 了 中 间 纹 理 的 特 
征 分 布 情况 ， 从 而 维持 了 源 样 例 纹理 的 特征 分 布 情况 。 进 一 
步 ， 由 于 泊 松 填充 所 采用 的 所 有 纹理 块 均 直 接 来 自 源 纹 理 图 
像 ， 未 经 其 他 图 像 处 理 步骤 ， 故 其 DPI 与 源 纹 理 保持 一 致 ， 
达到 拉 伸 源 纹理 而 保持 其 清晰 度 不 变 的 目标 。 


4 ”计算 结果 及 讨论 


本 章 给 出 与 同类 经 典 算 法 对 比 的 实验 结果 ， 用 以 证 明 本 
文 ATIPF 算法 可 以 对 静态 和 非 静 态 纹理 图 像 进行 快速 插值 计 


: 基于 泊 松 填充 的 纹理 自 适 应 插值 方法 


是 拉 普 拉 斯 算 子 。 
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算 ， 具 有 较 高 自 适 应 性 和 重 棒 性 ， 更 适合 纹理 图 像 的 自 适应 
缩放 应 用 场景 。 

， 3.4 GHz Intel CPU 的 PC 


平台 上 得 到 ， 实 验 编程 环境 为 Matlab 2015b， 前 人 算法 的 实 
验 结果 绒 头 人 果 。 为 便于 描述 ， 本 节 
涉及 到 的 前 人 算法 简称 如 表 1 所 示 。 

表 1 算法 简称 与 对 应 文献 编号 表 


Table ] The corresponding of the abbreviation in experimental results 


简 Image Texture Image Graphcut Self 
DeepCorNTSAE 
称 Quilting Optimization Melding Textures Tuning 
文 文献 “文献 
文献 [4] 文献 [12] 文献 [14] 文献 [13] ”文献 [11] 
献 [17] [18] 


4.1 静态 纹理 插值 效果 对 比 实验 

对 于 静态 纹理 ， 源 纹理 图 像 中 包含 较 多 同一 尺度 的 重复 
纹理 特征 , 其 合成 结果 大 多 为 随机 抽取 源 纹理 块 状 像素 信息 ， 
再 拼接 到 目标 纹理 中 。 为 保证 合成 后 的 纹理 没有 明显 的 周期 
性 重复 或 者 拼接 痕迹 ， 现 有 算法 采用 最 优 边界 切割 (image 
quilting ) 铅 或 者 最 优 块 区 域 选 择 (texture optimization ) 0 
的 策略 。 


(d) ATIPF 


(a) Example ) Image Quilting (c) Texture Optimization 


图 9 静态 纹理 对 比 实验 
Fig.9 The synthetic results on static textures 


从 实验 对 比 结果 图 9) 中 可 以 看 出 ， 静 态 纹理 合成 相 


对 是 一 个 较为 简单 的 问题 ， 经 典 算法 大 多 能 有 效 合成 无 拼接 
痕迹 的 纹理 。 由 于 采用 了 高 维 图 像 插值 结果 作为 纹理 合成 依 


据 , 本 文 算法 的 优势 在 于 保持 源 纹理 的 特征 分 布 规律 。 例 如 ， 
图 9c 中 仅 含 有 少量 大 片 绿叶 区 域 ， 并 且 其 分 布 位 置 与 源 图 
像 也 不 一 致 。 
4.2 非 静 态 纹理 插值 效果 对 比 实验 

非 静 态 纹理 一 般 是 自然 照片 类 纹理 ， 存 在 多 种 尺度 结构 
特征 ， 具 有 非 周期 、 非 规则 性 的 纹理 空间 分 布 特性 ， 是 经 典 
纹理 合成 算法 无 法 适应 的 一 类 源 纹理 。 另 一 方面 ， 自 然 照片 
一 般 具 有 较 高 分 辨 率 ， 会 大 幅 加 大 优化 类 算法 的 搜索 空间 ， 
使 其 计算 效率 迅速 下 降 。 

Kaspar 等 人 0 提出 的 Self Tuning 算法 可 以 适应 弱 非 静 
态 纹理 合成 的 场景 ， 但 其 多 尺度 优化 计算 过 程 耗 时 过 长 ， 且 
对 强 非 静态 纹理 合成 并 不 适用 。Zhou 等 人 49 提出 “Guidance 
Map” 的 方式 指导 Self Tuning 算法 的 非 静态 纹理 合成 过 程 ， 
取得 较 好 效果 。 但 其 Guidance Map 的 计算 过 程 涉及 非 线 性 降 


维 计算 ， 在 处 理 高 分 辨 源 纹理 时 非常 耗 时 。 本 节 将 给 出 本 文 
等 算法 的 对 比 结果 。 


ATIPF 算法 与 Self Tuning 


(a) Example ) Image Melding (c) Graphcut Textures (d) Self Tuning (e) ATIPF 


图 10 非 静态 纹理 对 比 实验 1 
Fig. 10 The synthetic results on non-static textures I 
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图 


10 给 的 是 本 文 算法 对 简 


张 军 ， 等 : 基于 泊 松 填充 的 纹理 自 适应 插值 方法 


的 非 静态 纹理 源 图 像 的 合 


成 效果 实验 对 比 结果 ， 其 中 图 10b 是 Image Melding04 方 法 


合成 效果 ， 10c 是 Graphcut Textures03] 方 法 合成 结果 ， 图 
10d 是 Self Tuning0 
法 合成 结果 

未 经 全 
像素 块 嵌 入 
者 有 明显 的 
方法 通过 复杂 的 
理 中 的 所 有 民 


局 优化 的 纹 到 
目标 纹 到 


宝 | 


同 优 化 方式 强 4 


(图 10 (e))。 
需要 注意 的 是 ， 本文 ATIPF 算法 采用 了 泊 松 融合 算法 向 
合成 纹理 嵌入 图 像 块 ， 有 可 能 在 合成 纹理 的 少量 分 块 边界 域 


方法 合成 结果 , 图 


10e 是 本 文 ATIPF 算 


合成 算法 容易 重复 选择 纹理 接近 的 


E 中 ， 最 终 合成 过 于 平坦 (图 10 (b)) 或 
I 痕迹 (图 10(6)) 的 结果 。 Self Tuningtl 


图 10d)。 本 文 提出 的 


由 合成 纹理 均匀 的 选取 源 纹 
像 块 ， 从 而 达到 了 较 好 的 合成 效果 ， 但 无 法 做 
到 纹理 特征 分 布 与 源 纹理 保持 一 致 《 


AIIPF 算法 无 须 全 局 优化 计算 ， 通 过 纹理 插值 的 方式 引导 像 
素 块 选择 过 程 ， 从 而 生成 与 源 纹理 特 和 理 


FE 分 布 一 致 的 合成 纹 


存 引 入 一 定 颜 色 “ 坚 染 ” 现 象 (图 10 (e) 上 排 )。 
4.3 复杂 纹理 插值 效果 实验 
对 于 复杂 的 非 静态 纹理 ， 传 统 基于 块 拼接 的 算法 缺乏 对 


源 纹理 各 个 斥 度 特 生 


的 描述 ， 即 使 采 / 


全 局 优化 搜索 方法 11 


也 无 法 达到 令 人 满意 的 结果 。 为 此 ，Zhou 等 人 (9 提出 用 
“Guidance Map” 指 导 纹理 块 搜索 的 策略 ， 虽 然 一 定 程 度 上 


改善 了 合成 结果 ， 但 其 涉及 复杂 


无 法 适用 


继续 提出 深度 学 习 型 纹理 合成 算法 ， 
的 合成 结 


sl 


(a) Example 


(b) Self-tuning 


高 分 辨 率 源 纹理 的 应 用 场景 。 


FE 线性 降 维 计算 的 缺陷 使 之 


最 近 ，Zhou 等 人 中 


其 针对 复杂 非 静态 纹理 


到 大 幅 改 善 。 


(c) DeepCor 


i 


(d) NTSAE (e) ATIPF 


11 非 静态 纹理 对 比 实验 2 


Fig. 11 The synthetic results on non-static textures II 


图 11 (a) 的 源 纹 理 中 包含 两 个 尺度 的 问题 特征 ， 铁 板 


上 钉 状 突起 按照 两 个 方向 ， 铁 板 本 身 


大 


光照 而 产生 不 均匀 的 


亮度 分 布 。Self Tuning01 方 法 通过 全 局 优化 搜索 ， 适 应 了 源 


纹理 的 钉 状 突起 特 生 


E 分 布 ,但 改变 了 其 背景 亮度 特征 分 布 (图 


11 (b))。DeepCor117 方 法 无 法 适应 复杂 非 静 态 纹理 问题 ， 其 


合成 结果 (图 11 (c)) 基本 失去 了 纹理 
方法 的 合成 结果 成 功 适 应 了 多 
合成 结果 视觉 一 致 性 最 高 。 本 文 ATIPF 算法 的 合成 结果 算 存 
但 其 背景 亮度 分 布 与 源 纹理 高 度 

特性 方面 优 于 NTSAEU9 这 种 复杂 深度 学 
上 更 具 竞 争 力 。 
本 文 ATIPF 
果 ,， 可 以 看 上 
相似 性 ， 可 


习 方 法 ， 在 实 | 
图 12 给 出 
600) 的 插值 
自身 存在 较 多 


合成 作用 。NTSAEI8I 


E 阁 ， 


在 少量 钉 状 突起 的 重 
致 ， 在 保留 源 纹 到 


及 度 纹理 


特征 的 非 均匀 性 ， 其 
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(a) Example 


(b) ATIPF 


图 12 复杂 自然 纹理 插值 实验 结果 


Fig. 12 The synthetic results on complex nature textures 


(b) NTSAE (c) ATIPF 


(a) Example 


图 13 ”本文 ATIPF 算法 与 NTSAE 算法 对 比 实验 结果 (一) 
Fig. 13 The synthetic result by ATIPF vs NTSAEI 


(b) NTSAE (c) ATIPF 


(a) Example 


图 14 本 文 ATIPF 算法 与 NTSAE 算法 对 比 实验 结果 (二) 
Fig. 14 The synthetic result by ATIPF vs NTSAE I1I 


5 ”结束 语 
本 文 在 图 像 高 维 插值 和 泊 松 填充 的 基础 上 ， 提 出 一 种 能 


保持 图 像 清晰 度 不 变 的 纹理 插值 算法 ， 可 自 适 应 的 将 源 纹 理 
图 像 拉 伸 到 目标 尺寸 。 该 算法 不 涉及 复杂 全 局 优化 计算 或 者 


算法 对 高 分 辨 照片 纹理 (1024X 
， 对 于 复杂 的 自然 纹理 ， 源 纹理 


纹理 具有 高 度 视觉 一 致 性 的 插值 纹理 。 


纹理 〈( 如 树叶 、 树 木 年 轮 、 孔 八尾 等 ) 


人 惊讶 的 成 功 ， 但 
效果 , 图 13 和 
出 该 算法 鲁 棒 性 不 足 的 一 面 。 


被 本 文 算法 充分 利用 而 产生 与 源 


虽然 Zhou 等 人 08 提 出 的 NTSAE 学 习 算 法 能 在 很 多 复杂 


图 像 合成 上 取得 了 令 


图 14 给 出 该 


本 文 提出 的 ATIFP 算法 具有 较 好 鲁 
然 图 像 自 相似 性 的 基础 上 ， 可 以 有 效应 对 众多 复杂 纹理 插 


场景 。 


合成 结果 在 图 像 边 界 部 位 总 带 有 模糊 的 
岗 象 比较 严重 的 两 个 案例 , 体现 


F 棒 性 ， 在 充分 利用 


密 下 


深度 学 习 训练 ， 对 内 存 要 求 较 低 且 易 于 并 行 化 计算 ， 适 合 包 
括 移动 平台 在 内 的 普通 硬件 平台 实现 。 

与 传统 纹理 合成 算法 相 比 ， 本 文 算法 鲁 棒 性 较 强 ， 对 静 
态 和 非 静 态 源 纹理 图 像 都 有 较 好 的 合成 效果 。 另 外 ， 本 文 算 
法 的 合成 结果 在 各 个 尺度 纹理 特征 的 分 布 上 都 能 保持 与 源 纹 
理 一 致 ， 非 常 适合 自然 纹理 图 像 的 缩放 、 拉 伸 等 应 用 场景 。 

最 后 ， 对 某 些 存在 旋转 特征 重复 的 源 纹 理 图 像 ， 本 文 算 
法 的 合成 效果 劣 于 基于 深度 学 习 的 NTSAE 算法 ， 需 要 寻找 
更 合适 的 像素 块 搜索 方案 。 
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